Structure-guided image completion aims to inpaint a local region of an image according to an input guidance map from users. While such a task enables many practical applications for interactive editing, existing methods often struggle to hallucinate realistic object instances in complex natural scenes. Such a limitation is partially due to the lack of semantic-level constraints inside the hole region as well as the lack of a mechanism to enforce realistic object generation. In this work, we propose a learning paradigm that consists of semantic discriminators and object-level discriminators for improving the generation of complex semantics and objects. Specifically, the semantic discriminators leverage pretrained visual features to improve the realism of the generated visual concepts. Moreover, the object-level discriminators take aligned instances as inputs to enforce the realism of individual objects. Our proposed scheme significantly improves the generation quality and achieves state-of-the-art results on various tasks, including segmentation-guided completion, edge-guided manipulation and panoptically-guided manipulation on Places2 datasets. Furthermore, our trained model is flexible and can support multiple editing use cases, such as object insertion, replacement, removal and standard inpainting. In particular, our trained model combined with a novel automatic image completion pipeline achieves state-of-the-art results on the standard inpainting task.

In this work, we present a dense tracking and mapping system named Vox-Fusion, which seamlessly fuses neural implicit representations with traditional volumetric fusion methods. Our approach is inspired by the recently developed implicit mapping and positioning system and further extends the idea so that it can be freely applied to practical scenarios. Specifically, we leverage a voxel-based neural implicit surface representation to encode and optimize the scene inside each voxel. Furthermore, we adopt an octree-based structure to divide the scene and support dynamic expansion, enabling our system to track and map arbitrary scenes without knowing the environment like in previous works. Moreover, we proposed a high-performance multi-process framework to speed up the method, thus supporting some applications that require real-time performance. The evaluation results show that our methods can achieve better accuracy and completeness than previous methods. We also show that our Vox-Fusion can be used in augmented reality and virtual reality applications. Our source code is publicly available at https://github.com/zju3dv/Vox-Fusion.

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。

对于多个实际应用，例如对象删除和图像编辑，图像介入是必不可少的任务。基于GAN的Deep Models大大改善了孔内结构和纹理的覆盖性能，但也可能产生意外的伪像，例如破裂的结构或颜色斑点。用户认为这些工件可以判断涂料模型的有效性，并修饰这些不完美的区域，以再次在典型的修饰工作流程中涂漆。受此工作流程的启发，我们提出了一项新的学习任务，以自动对知觉伪像的自动分割，并将模型应用于介入模型评估和迭代精致。具体而言，我们首先通过在最新的介入模型的结果中手动注释感知工件来构建一个新的镶嵌工件数据集。然后，我们在此数据集上训练高级细分网络，以可靠地将贴有映像的插入式伪像。其次，我们提出了一个称为感知伪影比率（PAR）的新的可解释的评估度量，该度量是令人反感的被涂料区域与整个原始区域的比率。 PAR证明了与实际用户偏好的密切相关性。最后，我们通过将我们的方法与多种最新涂料方法相结合，进一步将生成的掩码用于迭代图像介入。广泛的实验表明，在不同方法中，伪影区域的始终减少和质量改进。

扩散MRI拖拉术是一种先进的成像技术，可实现大脑白质连接的体内映射。白质拟层将拖拉机分类为簇或解剖学上有意义的区域。它可以量化和可视化全脑拖拉学。当前，大多数拟层方法都集中在深白质（DWM）上，而由于其复杂性，更少的方法解决了浅表白质（SWM）。我们提出了一种新型的两阶段深度学习的框架，即浅表白质分析（SUPWMA​​），该框架对全脑拖拉机的198个SWM簇进行了有效且一致的分析。一个基于点云的网络适应了我们的SWM分析任务，并且监督的对比度学习可以在SWM的合理流线和离群值之间进行更多的歧视性表示。我们在大规模拖拉机数据集上训练模型，包括来自标签的SWM簇和解剖学上难以置信的流线样本的简化样品，我们对六个不同年龄和健康状况的独立获取的数据集进行测试（包括新生儿和具有空间型脑肿瘤的患者） ）。与几种最先进的方法相比，SupWMA在所有数据集上获得了高度一致，准确的SWM分析结果，在整个健康和疾病的寿命中都良好的概括。另外，SUPWMA​​的计算速度比其他方法快得多。

白质图微观结构已显示出影响认知表现的神经心理学评分。但是，尚未尝试从白质图数据中预测这些分数。在本文中，我们提出了一个基于深度学习的框架，用于使用从扩散磁共振成像（DMRI）片段估计的微观结构测量结果进行神经心理学评分的预测，该框架的重点是基于接受语言的关键纤维纤维小道的接受性词汇评估任务的性能弓形筋膜（AF）。我们直接利用来自纤维道中所有点的信息，而无需按照传统上沿着光纤的平均数据进行扩散MRI Tractometry方法所要求的。具体而言，我们将AF表示为点云，每个点都有微观结构测量，从而可以采用基于点的神经网络。我们通过拟议的配对 - 塞亚姆损失来改善预测性能，该损失利用了有关连续神经心理学评分之间差异的信息。最后，我们提出了一种关键区域定位（CRL）算法来定位包含对预测结果有很大贡献的点的信息解剖区域。我们的方法对来自人类Connectome项目数据集的806名受试者的数据进行了评估。结果表明，与基线方法相比，神经心理评分的预测表现优异。我们发现，AF中的关键区域在受试者之间非常一致，额叶皮质区域的强大贡献最多（即，尾部中间额叶，pars opercularis和pars triangularis）与关键区域有着强烈的影响用于语言过程。

白质纤维聚类（WMFC）是白质细胞的重要策略，可以对健康和疾病中的白质连接进行定量分析。 WMFC通常以无监督的方式进行，而无需标记地面真相数据。尽管广泛使用的WMFC方法使用经典的机器学习技术显示出良好的性能，但深度学习的最新进展揭示了朝着快速有效的WMFC方向发展。在这项工作中，我们为WMFC，深纤维聚类（DFC）提出了一个新颖的深度学习框架，该框架解决了无监督的聚类问题，作为具有特定领域的借口任务，以预测成对的光纤距离。这使纤维表示能够在WMFC中学习已知的挑战，即聚类的敏感性对沿纤维的点排序的敏感性。我们设计了一种新颖的网络体系结构，该网络体系结构代表输入纤维作为点云，并允许从灰质拟合中纳入其他输入信息来源。因此，DFC利用有关白质纤维几何形状和灰质解剖结构的组合信息来改善纤维簇的解剖相干性。此外，DFC通过拒绝簇分配概率低的纤维来以自然方式进行异常去除。我们评估了三个独立获取的队列的DFC，包括来自220名性别，年龄（年轻和老年人）的220名个人的数据，以及不同的健康状况（健康对照和多种神经精神疾病）。我们将DFC与几种最先进的WMFC算法进行比较。实验结果表明，DFC在集群紧凑，泛化能力，解剖相干性和计算效率方面的表现出色。

$ k $ -means集群是各学科的基本问题。此问题是非核解，并且标准算法仅保证找到本地最佳算法。利用[1]的本地解决方案的结构，我们提出了一种用于逃离不良局部解决方案并恢复全球解决方案（或地面真理）的一般算法框架。该框架包括迭代：（i）在本地解决方案中检测MIS指定的群集，并通过非本地操作来改进当前本地解决方案。我们讨论这些步骤的实施，并阐明所提出的框架如何从几何视角统一文献中的k $ -means算法的变体。此外，我们介绍了所提出的框架的两个自然扩展，其中初始数量的群集被遗漏。我们为我们的方法提供了理论理的理由，这是通过广泛的实验证实的。

本文考虑了在动态环境中的异质治疗效果的推断，可协变量和治疗是纵向的。我们专注于样本大小，$ N $的高维病例可能比协变量矢量的维度，$ D $。考虑了边缘结构平均模型。我们提出了一种基于“时刻有针对性”滋扰估计的“顺序模型双重稳健”估计器。这些滋扰估算器经过非标准损耗函数精心设计，从而减少了由潜在的模型误操作造成的偏差。即使发生模型拼写，我们也可以实现$ \ sqrt n $-incerence。我们只需要在每个时间点正确指定一个滋扰模型。这种模型正确性条件比所有现有的工作较弱，甚至含有低维度的文献。

本文提出了在多阶段实验的背景下的异质治疗效应的置信区间结构，以$ N $样品和高维，$ D $，混淆。我们的重点是$ d \ gg n $的情况，但获得的结果也适用于低维病例。我们展示了正则化估计的偏差，在高维变焦空间中不可避免，具有简单的双重稳固分数。通过这种方式，不需要额外的偏差，并且我们获得root $ N $推理结果，同时允许治疗和协变量的多级相互依赖性。记忆财产也没有假设;治疗可能取决于所有先前的治疗作业以及以前的所有多阶段混淆。我们的结果依赖于潜在依赖的某些稀疏假设。我们发现具有动态处理的强大推理所需的新产品率条件。